%!TEX program = xelatex
% 完整编译方法 1 pdflatex -> bibtex -> pdflatex -> pdflatex
% 完整编译方法 2: xelatex -> bibtex -> xelatex -> xelatex
\documentclass[lang=cn,11pt]{elegantpaper}

\title{从线性变化看向量与矩阵}
\author{eleve11}

% \institute{\href{https://elegantlatex.org/}{Elegant\LaTeX{} 项目组}}

% 不需要版本信息，直接注释即可
% \version{0.07}
% 不需要时间信息的话，需要把 \today 删除。
\date{\today}


% 如果想修改参考文献样式，请把这行注释掉
\usepackage[authoryear]{gbt7714}  % 国标

\begin{document}

\maketitle

% \begin{abstract}
%
% \end{abstract}


\section{介绍}
3Blue1Brown最初是在油管上发现，在b站也有up，博主会up很多有趣的知识，很多都是抱着兴趣或者
下饭视频，没有进行深究，最近发现其上面有一个关于线代的系列视频，自己又在补知识阶段，赶紧进行
学习。\\
\indent 在机器学习我们会关注到模型与应用结合，那么我们在机器学习算法中遇到的向量时，就像矩阵与
向量相乘得到的向量，它究竟有什么几何意义呢？

\section{开始}
    向量是什么呢？从自己计算机学习的方向，吴恩达的机器学习的第一节课中就举了一个例子房屋的
    例子，我们只关心房屋面积与价格的关系，这个向量就如下:
    \begin{displaymath}
      \begin{bmatrix}
          100m^2\\
          2000k
      \end{bmatrix}
    \end{displaymath}
    只关心他有哪些属性特征，并不过多的纠缠于其在坐标系的的指向等，当我们进入坐标系，为了解其
    几何的表示。我们就更希望向量的形式是带箭头的$\overrightarrow{x}$，而不是论文中经常看
    到的$\textrm{\textbf{x}}$，如图\ref{fig:basisvector}(绿色为基向
    量$\overrightarrow{i}$，红色为基向量$\overrightarrow{j}$) \\
    在3Blue1Brown的系列视频中，矩阵的每一列代表一个向量，而一行表示这个$1 \times n$的矩
    阵。
    \begin{figure}[htbp]
    	\centering
    	\includegraphics[width=0.4\textwidth]{basisvector.png}
    	\caption{基向量 \label{fig:basisvector}}
    \end{figure}
    \subsection{线性转换}
      线性转换是保持坐标系中网格线平行且等距分布的变换，变换之前的直线在变换之后依旧是一条直
      线。当然在坐标系中我们选择的一般是两个正交的长度为1的向量作为\textbf{基向量}(任何向
      量都能由基向量线性组合表示)$\overrightarrow{i}=\binom{1}{0}$和
      $\overrightarrow{j}=\binom{0}{1}$，所以房屋面积与价格可以像如下表示
      \begin{equation*}
          \begin{bmatrix}
              100 \\
              2000
          \end{bmatrix} \Longrightarrow
          100 \overrightarrow{i} + 2000 \overrightarrow{j}
      \end{equation*}
      顺着基向量，我们来考虑$\binom{1}{2}$转换到$\binom{1}{-1}$，如式
      \ref{formula:transform}
      \begin{equation} \label{formula:transform}
        \begin{bmatrix}
            1 & 1 \\
            0 & 1
        \end{bmatrix}
        \begin{bmatrix}
            1 \\
            2
        \end{bmatrix} = 1 \begin{bmatrix}
            1 \\
            0
        \end{bmatrix} + 2 \begin{bmatrix}
            1 \\
            1
        \end{bmatrix} = \begin{bmatrix}
            1 \cdot 1 + 1 \cdot 2 \\
            0 \cdot 1 + 1 \cdot 2
        \end{bmatrix} = \begin{bmatrix}
            3 \\
            2
        \end{bmatrix}
      \end{equation}
      上式\ref{formula:transform}，我们找了一个矩阵，将向量$\binom{1}{2}$转化为
      $\binom{1}{-1}$。而这个矩阵是什么呢？看看基向量，会发现
      \begin{displaymath}
          \overrightarrow{i^\prime} = \begin{bmatrix}
              1 \\
              0
          \end{bmatrix}, \quad
          \overrightarrow{j^\prime} = \begin{bmatrix}
              1 \\
              1
          \end{bmatrix}, \quad
          \begin{bmatrix}
              3 \\
              2
          \end{bmatrix} \Longrightarrow
          \overrightarrow{i^\prime} + 2 \overrightarrow{j^\prime}
      \end{displaymath}
      我们要的输出向量$\binom{1}{-1}$是在由新的基向量$\overrightarrow{i^\prime}$和
      $\overrightarrow{j^\prime}$表示的空间(如图\ref{fig:newbasisvector})中，
      通过相加伸缩的两个基向量之和得到。$\binom{1}{2}$成了输出向量在新基向量下的度量。
      当然这是从后面基向量的视角中看到的，\textbf{如何从变化前基向量看到呢？} \\
      \begin{figure}[htbp]
      	\centering
      	\includegraphics[width=0.4\textwidth]{newbasisvector.png}
      	\caption{新基向量 \label{fig:newbasisvector}}
      \end{figure}
      \indent 再来看一张图\ref{fig:matrixtrans}，如何将$\overrightarrow{i}$和
      $\overrightarrow{j}$转换成新的$\overrightarrow{i^\prime}$和
      $\overrightarrow{j^\prime}$?新的基向量通过逆时针旋转$90^\circ$，然后将此时的基
      向量$\overrightarrow{i}$转化为$\binom{1}{1}$(视频中称为剪切)得到。
      \begin{displaymath}
          \begin{bmatrix}
              1 & 0 \\
              0 & 1
          \end{bmatrix} \stackrel{?}{\Longrightarrow} \begin{bmatrix}
              1 & -1 \\
              1 & 0
          \end{bmatrix}
      \end{displaymath}
      \begin{figure}[htbp]
      	\centering
      	\includegraphics[width=0.4\textwidth]{matrixtrans.png}
      	\caption{\label{fig:matrixtrans}}
      \end{figure}
      数学式子表示如下，等式左边的$\binom{1 \quad 0}{0 \quad 1}$如果忽略就显得似乎不参
      与计算，我这里加入也是表示这个基向量转换为了新的基向量，其实单位矩阵对于整个乘法不产生
      影响。
      \begin{displaymath}
          \begin{bmatrix}
              1 & 1 \\
              0 & 1
          \end{bmatrix} \begin{bmatrix}
              0 & -1 \\
              1 & 0
          \end{bmatrix} \begin{bmatrix}
              1 & 0 \\
              0 & 1
          \end{bmatrix} = \begin{bmatrix}
              1 & -1 \\
              1 & 0
          \end{bmatrix}
      \end{displaymath}
      当然你会发现这都是在左乘矩阵(个人认为是描述矩阵，影响被描述矩阵的走向，就像形容一件衣
      服，一件复古休闲风的衣服，或者一件运动狂野风的衣服)，获得一个新的矩阵，像复合函数一
      样$f(g(x))$。\\
      \indent 再来看式\ref{formula:exchange}和\ref{formula:combine}，矩阵乘法是不满
      足交换律的，但满足结合律的。
      \begin{equation} \label{formula:exchange}
        \begin{bmatrix}
            1 & 1 \\
            0 & 1
        \end{bmatrix} \begin{bmatrix}
            0 & -1 \\
            1 & 0
        \end{bmatrix} = \begin{bmatrix}
            1 & -1 \\
            1 & 0
        \end{bmatrix}, \quad
        \begin{bmatrix}
            0 & -1 \\
            1 & 0
        \end{bmatrix}
        \begin{bmatrix}
            1 & 1 \\
            0 & 1
        \end{bmatrix} = \begin{bmatrix}
            0 & -1 \\
            1 & 1
        \end{bmatrix}
      \end{equation}
      \begin{equation} \label{formula:combine}
        \Big(\begin{bmatrix}
            1 & 1 \\
            0 & 1
        \end{bmatrix} \begin{bmatrix}
            0 & -1 \\
            1 & 0
        \end{bmatrix}\Big) \begin{bmatrix}
            1 & 1 \\
            1 & 1
        \end{bmatrix} = \begin{bmatrix}
            0 & 0 \\
            1 & 1
        \end{bmatrix}, \quad
        \begin{bmatrix}
            1 & 1 \\
            0 & 1
        \end{bmatrix} \Big(\begin{bmatrix}
            0 & -1 \\
            1 & 0
        \end{bmatrix} \begin{bmatrix}
            1 & 1 \\
            1 & 1
        \end{bmatrix}\Big) = \begin{bmatrix}
            0 & 0 \\
            1 & 1
        \end{bmatrix}
      \end{equation}
      在矩阵交换律问题中，我们将描述与被描述的矩阵交换，我们所使用的基向量被修改，结果也就不
      一样了。而矩阵结合律，所被描述的矩阵一直未发生变化，就像是复古的休闲的衣服与休闲的复古
      的衣服来衬托美丽或者帅气的你，其实结果都一样(当然我们要求像英语中形容词有固定的顺序)。
      \subsection{行列式}
          行列式就是矩阵各个向量张成的空间的``面积''(可能维度大于2，有其他描述，此处就叫
          面积了)或者大小。
          \begin{displaymath}
              \left| \begin{array}{cc}
                  2 & 0 \\
                  0 & 3
              \end{array} \right| = 6, \quad
              \left| \begin{array}{cc}
                  2 & 0 \\
                  0 & -3
              \end{array} \right| = -6, \quad
              \left| \begin{array}{cc}
                  4 & 2 \\
                  2 & 1
              \end{array} \right| = 0
          \end{displaymath}
          \indent 上式中的第二个行列式的值为负数，是因为第二个向量在第一个向量的右手边。
          可以看到第三个行列式的值是0，这个意味着这个矩阵张成的空间为零，这是因为
          矩阵中两个向量$\binom{4}{2}$和$\binom{2}{1}$是线性相关的，它们将这个张成空
          间压缩到了一维，所以在二维空间的结果就是零，此时的矩阵的\textbf{秩}(变换后空间
          的维数)为1。\\
          \indent 图\ref{fig:det}可以说是很直观的表示了我们在教科书中教的如何计算行列
          式。\\
          \begin{figure}[htbp]
          	\centering
          	\includegraphics[width=0.6\textwidth]{det.png}
          	\caption{\label{fig:det}}
          \end{figure}
          \newenvironment{lcase} % 建立新的环境，用于左括号内多行公式显示
          {\left\lbrace\begin{aligned}}
          {\end{aligned}\right.}
          \indent 通常行列式是用来解决式\ref{formula:formulas}这样的方程组问题的
          \begin{equation} \label{formula:formulas}
              \begin{lcase}
                  2x+5y+3z=-3 \\
                  4x+0y+8z=0 \\
                  1x+3y+0z=2 \,
              \end{lcase}
          \end{equation}
          上式可以转换为如下矩阵形式$A\overrightarrow{x}=\overrightarrow{b}$
          \begin{equation}
              \begin{bmatrix}
                  2 & 5 & 3 \\
                  4 & 0 & 8 \\
                  1 & 3 & 0
              \end{bmatrix} \begin{bmatrix}
                  x \\
                  y \\
                  z
              \end{bmatrix} = \begin{bmatrix}
                  -3 \\
                  0 \\
                  2
              \end{bmatrix}
          \end{equation}
          $A\overrightarrow{x}=\overrightarrow{b} \Longrightarrow \overrightarrow{x}= A^{-1}\overrightarrow{b}$，A的逆就是让矩阵回到原来
          的状态，当然你的$|A| \neq 0$，因为一但$|A| = 0$意味着无法``解压缩''回原来的
          状态，就像函数只能多对一，而不能一对多。当然在$|A| \neq 0$情况下，依旧可能有解，
          就是解刚好也在压缩后的空间上。
          \begin{figure}[htbp]
          	\centering
          	\includegraphics[width=0.4\textwidth]{dosolution.png}
          	\caption{\label{fig:dosolution}}
          \end{figure}
      \subsection{点积}
      点积即如下运算
      \begin{displaymath}
          \overrightarrow{v} \cdot \overrightarrow{w} =
          \begin{bmatrix}
              3 \\
              1
          \end{bmatrix} \cdot \begin{bmatrix}
              -1 \\
              -2
          \end{bmatrix} = 3 \cdot (-1) + 1 \cdot (-2) = -5
      \end{displaymath}
      \indent 当然点积有它的几何解释，即向量$\overrightarrow{w}$在向
      量$\overrightarrow{v}$上
      投影的长度乘以向量$\overrightarrow{v}$的长度，两个向量之间的角度觉得点积的正负。也
      可以解释为向量$\overrightarrow{v}$在向量$\overrightarrow{w}$上投影之后的运算，
      结果都是一样的。两种不同的过程，可以从两个长度一样的向量对称性开始思考，在推广至长度
      不同。
      \indent 最大的问题是如何点积(对应坐标相乘)与投影是什么关系呢？
      \begin{displaymath}
          \begin{bmatrix}
              3 & 1
          \end{bmatrix} \begin{bmatrix}
              -1 \\
              -2
          \end{bmatrix} = 3 \cdot (-1) + 1 \cdot (-2) = -5
      \end{displaymath}
      再来看上式的矩阵与向量乘法，$(3 \quad 1)$这个矩阵将基向量带到了数轴上，所以我们像是沿
      着数轴负方向走了5个单位。
      \begin{figure}[htbp]
        \centering
        \includegraphics[width=0.4\textwidth]{dotproduct.png}
        \caption{\label{fig:dotproduct}}
      \end{figure}

      \subsection{基变换}
      现在出门不同地方的人交流都是使用普通话，回溯到以前没有推广普通话，我们在交流上的成本十
      分的大，同样在使用坐标系是，我们使用不同的坐标系来描述同一个内容，可能就有所不同，也会
      导致交流的不畅，那么我们应该如何在不同坐标系转化向量呢？ \\
      \begin{figure}[htbp]
        \centering
        \includegraphics[width=0.4\textwidth]{basistrans.png}
        \caption{\label{fig:basistrans}}
      \end{figure}
      \indent 图\ref{fig:basistrans}是甲的坐标系，$\overrightarrow{b_1}$和
      $\overrightarrow{b_2}$是他坐标系中的基向量，当他描述他坐标系的$\binom{-1}{2}$
      时，就是$-1\overrightarrow{b_1}+2\overrightarrow{b_2}$，那么如何转换为我们坐
      标系中的坐标呢？ \\
      \indent 甲的坐标系的$\overrightarrow{b_1}$和$\overrightarrow{b_2}$在我们坐标
      系情况如图\ref{fig:basistrans1}。
      \begin{figure}[htbp]
        \centering
        \includegraphics[width=0.4\textwidth]{basistrans1.png}
        \caption{\label{fig:basistrans1}}
      \end{figure}
      所以我们需要知道甲基向量在我们基向量的情况
      \begin{displaymath}
          \overrightarrow{b_1} = 2\overrightarrow{i}+\overrightarrow{1}
          = \begin{bmatrix}
              2 \\
              1
          \end{bmatrix},
          \quad \overrightarrow{b_2} = -\overrightarrow{i}+\overrightarrow{j} =
          \begin{bmatrix}
              -1 \\
              1
          \end{bmatrix}
      \end{displaymath}
      随后我们就可以知道转换成我们的矩阵的情况了。
      \begin{displaymath}
          \begin{bmatrix}
              -1 \\
              2
          \end{bmatrix} \Longrightarrow 2\begin{bmatrix}
              -1 \\
              1
          \end{bmatrix} - \begin{bmatrix}
              2 \\
              1
          \end{bmatrix} = \begin{bmatrix}
              -1 & 2 \\
              1 & 1
          \end{bmatrix} \begin{bmatrix}
              -1 \\
              2
          \end{bmatrix} = \begin{bmatrix}
              -4 \\
              1
          \end{bmatrix}
      \end{displaymath}
      又回到的矩阵与向量的乘法，那么我们有如何将自己的转化为甲所要表示的呢？就要用的逆矩阵
      了。
      \begin{displaymath}
          \begin{bmatrix}
              \frac{1}{3} & \frac{1}{3} \\
              -\frac{1}{3} & \frac{2}{3}
          \end{bmatrix} \begin{bmatrix}
              -4 \\
              1
          \end{bmatrix} = \begin{bmatrix}
              -1 \\
              2
          \end{bmatrix}
      \end{displaymath}
      再来考虑如果我们坐标系基坐标进行了改变(逆时针旋转$90^\circ$)，甲坐标系对应变化，
      此时$\binom{-1}{2}$是什么呢?
      \begin{displaymath}
          \begin{bmatrix}
              -1 & 2 \\
              1 & 1
          \end{bmatrix}^{-1} \begin{bmatrix}
              0 & -1 \\
              1 & 0
          \end{bmatrix} \begin{bmatrix}
              -1 & 2 \\
              1 & 1
          \end{bmatrix} \begin{bmatrix}
              -1 \\
              2
          \end{bmatrix}
      \end{displaymath}
      现将甲的向量乘以矩阵A转化我们的语言，按我们的语言旋转这个向量在乘以逆矩阵$A^{-1}$，就
      可以得到最后在甲坐标系中的对应旋转的结果了。

      \subsection{特征值和特征向量}
      在使用基向量$\overrightarrow{i}$与$\overrightarrow{j}$张成的空间表示所有的向量
      ，当我们使用线性转换改变基向量，会发现在转换过程中，有些向量在前后空间中都是不变的，
      如图\ref{fig:eigen}和\ref{fig:eigen1}。而这些不变的向量就是特征向量，特征向量所
      属的值，就是特征值。
      \begin{figure}[htbp]
        \centering
        \includegraphics[width=0.4\textwidth]{eigen.png}
        \caption{\label{fig:eigen}}
      \end{figure}
      \begin{figure}[htbp]
        \centering
        \includegraphics[width=0.4\textwidth]{eigen1.png}
        \caption{\label{fig:eigen1}}
      \end{figure}
      \begin{displaymath}
        A\overrightarrow{v} = \lambda \overrightarrow{v}
      \end{displaymath}
      其实也就是将调整后的变换将空间压缩到一个更低的维度上。(常见的降维中就涉及到：
      拉普拉斯特征映射，LPP算法)





% 如果想修改参考文献样式（非国标），请把下行取消注释，并换成合适的样式（比如 unsrt，plain 样式）。
%\bibliographystyle{aer}
% \bibliography{wpref}
\newpage
\begin{thebibliography}{99}
    \bibitem{b} 3Blue1Brown. https://www.bilibili.com/video/av6731067 (2016)
\end{thebibliography}

\end{document}
